package com.shujia.flink.core;

import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class Demo2WordCountBatch {
    public static void main(String[] args) throws Exception {

        //1、创建flink的执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        /**
         * 处理模式
         * BATCH：批处理模式
         * 1、批处理模式输出最终结果
         * 2、FLink的批处理模式底层时MapReduce模型，和spark一样，先执行上游task，再执行下游task
         * 3、批处理模式只能用于处理有界的数据
         *
         * STREAMING：流处理模式
         * 1、流处理模式输出连续结果
         * 2、流处理模式底层时持续流模型，每一条数据都会处理一次
         * 3、流处理模式可以处理有界流也可以处理无界流
         *
         *
         * Flink流批统一
         * 1、同一个代码逻辑既能用于流处理也能用于批处理
         */
        env.setRuntimeMode(RuntimeExecutionMode.BATCH);

        //2、读取数据
        //nc -lk 8888
        DataStream<String> linesDS = env.readTextFile("flink/data/words.txt");

        System.out.println(linesDS.getParallelism());

        //3、转换成kv
        DataStream<Tuple2<String, Integer>> kvDS = linesDS
                .map(word -> Tuple2.of(word, 1), Types.TUPLE(Types.STRING, Types.INT));

        //4、统计单词的数量
        KeyedStream<Tuple2<String, Integer>, String> KeyByDS = kvDS.keyBy(kv -> kv.f0);

        DataStream<Tuple2<String, Integer>> countDS = KeyByDS.sum(1);

        //大于结果
        countDS.print();

        //启动
        env.execute();
    }
}
